Optimization techniques for adaptability in MPI application

The first version of MPI (Message Passing Interface) was released in 1994. At that time, scientific applications for HPC (High Performance Computing) were characterized by a static execution environment. These applications usually had regular computation and communication patterns, operated on dense data structures accessed with good data locality, and ran on homogeneous computing platforms. For these reasons, MPI has become the de facto standard for developing scientific parallel applications for HPC during the last decades. In recent years scientific applications have evolved in order to cope with several challenges posed by different fields of engineering, economics and medicine among others. These challenges include large amounts of data stored in irregular and sparse data structures with poor data locality to be processed in parallel (big data), algorithms with irregular computation and communication patterns, and heterogeneous computing platforms (grid, cloud and heterogeneous cluster). On the other hand, over the last years MPI has introduced relevant improvements and new features in order to meet the requirements of dynamic execution environments. Some of them include asynchronous non-blocking communications, collective I/O routines and the dynamic process management interface introduced in MPI 2.0. The dynamic process management interface allows the application to spawn new processes at runtime and enable communication with them. However, this feature has some technical limitations that make the implementation of malleable MPI applications still a challenge. This thesis proposes FLEX-MPI, a runtime system that extends the functionalities of the MPI standard library and features optimization techniques for adaptability of MPI applications to dynamic execution environments. These techniques can significantly improve the performance and scalability of scientific applications and the overall efficiency of the HPC system on which they run. Specifically, FLEX-MPI focuses on dynamic load balancing and performance-aware malleability for parallel applications. The main goal of the design and implementation of the adaptability techniques is to efficiently execute MPI applications on a wide range of HPC platforms ranging from small to large-scale systems. Dynamic load balancing allows FLEX-MPI to adapt the workload assignments at runtime to the performance of the computing elements that execute the parallel application. On the other hand, performance-aware malleability leverages the dynamic process management interface of MPI to change the number of processes of the application at runtime. This feature allows to improve the performance of applications that exhibit irregular computation patterns and execute in computing systems with dynamic availability of resources. One of the main features of these techniques is that they do not require user intervention nor prior knowledge of the underlying hardware. We have validated and evaluated the performance of the adaptability techniques with three parallel MPI benchmarks and different execution environments with homogeneous and heterogeneous cluster configurations. The results show that FLEXMPI significantly improves the performance of applications when running with the support of dynamic load balancing and malleability, along with a substantial enhancement of their scalability and an improvement of the overall system efficiency.La primera versión de MPI (Message Passing Interface) fue publicada en 1994, cuando la base común de las aplicaciones científicas para HPC (High Performance Computing) se caracterizaba por un entorno de ejecución estático. Dichas aplicaciones presentaban generalmente patrones regulares de cómputo y comunicaciones, accesos a estructuras de datos densas con alta localidad, y ejecución sobre plataformas de computación homogéneas. Esto ha hecho que MPI haya sido la alternativa más adecuada para la implementación de aplicaciones científicas para HPC durante más de 20 años. Sin embargo, en los últimos años las aplicaciones científicas han evolucionado para adaptarse a diferentes retos propuestos por diferentes campos de la ingeniería, la economía o la medicina entre otros. Estos nuevos retos destacan por características como grandes cantidades de datos almacenados en estructuras de datos irregulares con baja localidad para el análisis en paralelo (big data), algoritmos con patrones irregulares de cómputo y comunicaciones, e infraestructuras de computación heterogéneas (cluster heterogéneos, grid y cloud). Por otra parte, MPI ha evolucionado significativamente en cada una de sus sucesivas versiones, siendo algunas de las mejoras más destacables presentadas hasta la reciente versión 3.0 las operaciones de comunicación asíncronas no bloqueantes, rutinas de E/S colectiva, y la interfaz de procesos dinámicos presentada en MPI 2.0. Esta última proporciona un procedimiento para la creación de procesos en tiempo de ejecución de la aplicación. Sin embargo, la implementación de la interfaz de procesos dinámicos por parte de las diferentes distribuciones de MPI aún presenta numerosas limitaciones que condicionan el desarrollo de aplicaciones maleables en MPI. Esta tesis propone FLEX-MPI, un sistema que extiende las funcionalidades de la librería MPI y proporciona técnicas de optimización para la adaptación de aplicaciones MPI a entornos de ejecución dinámicos. Las técnicas integradas en FLEX-MPI permiten mejorar el rendimiento y escalabilidad de las aplicaciones científicas y la eficiencia de las plataformas sobre las que se ejecutan. Entre estas técnicas destacan el balanceo de carga dinámico y maleabilidad para aplicaciones MPI. El diseño e implementación de estas técnicas está dirigido a plataformas de cómputo HPC de pequeña a gran escala. El balanceo de carga dinámico permite a las aplicaciones adaptar de forma eficiente su carga de trabajo a las características y rendimiento de los elementos de procesamiento sobre los que se ejecutan. Por otro lado, la técnica de maleabilidad aprovecha la interfaz de procesos dinámicos de MPI para modificar el número de procesos de la aplicación en tiempo de ejecución, una funcionalidad que permite mejorar el rendimiento de aplicaciones con patrones irregulares o que se ejecutan sobre plataformas de cómputo con disponibilidad dinámica de recursos. Una de las principales características de estas técnicas es que no requieren intervención del usuario ni conocimiento previo de la arquitectura sobre la que se ejecuta la aplicación. Hemos llevado a cabo un proceso de validación y evaluación de rendimiento de las técnicas de adaptabilidad con tres diferentes aplicaciones basadas en MPI, bajo diferentes escenarios de computación homogéneos y heterogéneos. Los resultados demuestran que FLEX-MPI permite obtener un significativo incremento del rendimiento de las aplicaciones, unido a una mejora sustancial de la escalabilidad y un aumento de la eficiencia global del sistema.Programa Oficial de Doctorado en Ciencia y Tecnología InformáticaPresidente: Francisco Fernández Rivera.- Secretario: Florín Daniel Isaila.- Vocal: María Santos Pérez Hernánde

Simulación de la transmisión de una enfermedad contagiosa en entornos urbanos

El objetivo principal del proyecto es modelar la propagación del virus de la gripe A (H1N1) en un entorno de población urbana, con el fin de comprender el modelo de propagación bajo distintos escenarios. Además del objetivo principal surgen una serie de objetivos específicos a tratar durante el desarrollo del proyecto: • Modelado del colectivo social y de la enfermedad: se debe modelar matemáticamente el colectivo social de una población, lo que incluye individuos, colectivos e interacciones entre los mismos. Por otro lado se debe modelar la enfermedad contagiosa, lo que incluye definición del virus y propagación del mismo sobre la población. • Desarrollo de una herramienta de simulación distribuida: se debe desarrollar una herramienta sobre la que se realicen simulaciones de la propagación del virus sobre el colectivo social de la población. La herramienta, además, ha de ser distribuida. Dicha herramienta ha de presentar las siguientes características: • Flexibilidad: ha de ser una herramienta flexible que se adapte a diferentes poblaciones y enfermedades contagiosas, es decir, ser capaz de modelar distintos entornos. • Escalabilidad: la aplicación debe ser ejecutada en paralelo de forma eficiente, permitiendo reducir su tiempo de ejecución conforme más recursos de cómputo son empleados. Del mismo modo, debe ser escalable, es decir, debe permitir simular de forma eficiente entornos de mayor complejidad y tamaño. • Realista: se pretende que la herramienta realice simulaciones de manera realista, hecho que se comprobará en función de los resultados obtenidos. • Evaluación de la simulación de la propagación del virus: por último se debe realizar la correspondiente evaluación de la simulación de la propagación del virus sobre la población considerada, Leganés.Ingeniería Técnica en Informática de Gestió

Modeling and scaling up of the Cr(VI) adsorption process by using mexicalcite natural mineral in a packed bed column

Artículo científicoThe natural mineral known as Mexicalcite is native to the southern region of Mexico, and due to its abundance and accessibility characteristics, as well as its insolubility in water, it is recommended as an adsorbent material. For such reasons, in this work Mexicalcite was used as adsorbent material to remove Cr(VI) in a packed bed column. The effects of the parameters: bed column height (Z), flow rate (Q), and the initial chromium concentration (C0), on the adsorption capacity (q) and removal percentage (%R) were evaluated. The results show minimal changes in adsorption capacity, specifically a 4% difference; with a mean value of 4.98 mg/g. However, maximum removal percentage was obtained for a high height in the bed column, where there is more contact time. However, low removal percentages were obtained for high flow rate, where the contact time is considerably less. The maximum removal was 94.09%, which was obtained with the highest packed bed height (Z= 6cm), initial concentration (C0= 25 mg/L), and lowest flow rate (Q= 2mL/min). The process was modeled using the Thomas, Adams-Bohart and Yoon-Nelson models. With the BDST model, it was possible to scale up the adsorption process and double the original column dimensions. In addition, the column dimensions were obtained theoretically, to operate continuously for 120 h. Finally, the chromium concentration at the outlet was 0.1 mg/L, using a value of 2 for the bed height/column diameter ratio (Z/d)

“De la Huerta a la Olla” : Una experiencia de economía popular y solidaria

Este trabajo se encuentra enmarcado en una experiencia de proyecto de extensión de la Facultad de Trabajo Social de la Universidad Nacional de La Plata, cuyo surgimiento fue a raíz de una demanda realizada por la comunidad durante el proceso de prácticas de formación pre profesional de estudiantes de la Catedra de Trabajo Social II. Se intenta recuperar a través de esta experiencia prácticas de trabajo social comunitarias, llevadas a cabo en el territorio vinculadas a asistencia directa, recreación y esparcimiento de niñes, acompañando a la escolaridad, promoción y cuidado de la salud. Todas ellas confluyeron en el proyecto de extensión “De la huerta a la olla” incorporando de manera integral el impacto en otras dimensiones de la vida cotidiana de las familias del barrio. La confluencia de estos antecedentes favoreció la implementación del proyecto recuperando procesos de educación popular de adultes y niñes, las prácticas vinculadas al mejoramiento de la salud de la salud y las prácticas vinculadas al mejoramiento de la salud sirvieron de marco de referencia para pensar el proyecto vinculado a los derechos humanos de las personas.Mesa de trabajo 20: Economía popular Eje temático 3: Procesos de producción y reproducción socialFacultad de Trabajo Socia

Atlantic Europe in the First Millennium BC. Crossing the Divide

Tom Moore and Xosê-Lois Armada (eds).-- Moore, Tom et al.European first millennium BC studies have witnessed an increasing theoretical divide between the approaches adopted in different countries. Whilst topics such as ethnicity, identity, and agency have dominated many British studies, such themes have had less resonance in continental approaches. At the same time, British and Iberian first millennium BC studies have become increasingly divorced from research elsewhere in Europe. While such divergence reflects deep historical divisions in theory and methodology between European perspectives, it is an issue that has been largely ignored by scholars of the period. This book addresses these issues. Initial chapters introduce major themes (landscape studies, social organisation, historiography, dynamics of change, and identity), providing overviews on the history of approaches to these areas, personal perspectives on current problems, and possible future research directions. Subsequent chapters develop these topics, presenting case studies and in-depth discussions of particular issues relating to the first millennium BC in the Atlantic realm of Western Europe.Peer Reviewe

Digital Image Sensor-Based Assessment of the Status of Oat (Avena sativa L.) Crops after Frost Damage

The aim of this paper is to classify the land covered with oat crops, and the quantification of frost damage on oats, while plants are still in the flowering stage. The images are taken by a digital colour camera CCD-based sensor. Unsupervised classification methods are applied because the plants present different spectral signatures, depending on two main factors: illumination and the affected state. The colour space used in this application is CIELab, based on the decomposition of the colour in three channels, because it is the closest to human colour perception. The histogram of each channel is successively split into regions by thresholding. The best threshold to be applied is automatically obtained as a combination of three thresholding strategies: (a) Otsu’s method, (b) Isodata algorithm, and (c) Fuzzy thresholding. The fusion of these automatic thresholding techniques and the design of the classification strategy are some of the main findings of the paper, which allows an estimation of the damages and a prediction of the oat production

Nutrición enteral domiciliaria en España: registro Nadya del año 2011-2012

Objective: To describe the results of the home enteral nutrition (HEN) registry of the NADYA-SENPE group in 2011 and 2012. Material and methods: We retrieved the data of the patients recorded from January 1st 2011 to December 31st 2012. Results: There were 3021 patients in the registry during the period from 29 hospitals, which gives 65.39 per million inhabitants. 97.95% were adults, 51.4% male. Mean age was 67.64 ± 19.1, median age was 72 years for adults and 7 months for children. Median duration with HEN was 351 days and for 97.5% was their first event with HEN. Most patients had HEN because of neurological disease (57.8%). Access route was nasogastric tube for 43.5% and gastrostomy for 33.5%. Most patients had limited activity level and, concerning autonomy, 54.8% needed total help. Nutritional formula was supplied from chemist’s office to 73.8% of patients and disposables, when necessary, was supplied from hospitals to 53.8% of patients. HEN was finished for 1,031 patients (34.1%) during the period of study, 56.6% due to decease and 22.2% due to recovery of oral intake. Conclusions: Data from NADYA-SENPE registry must be explained cautiously because it is a non-compulsory registry. In spite of the change in the methodology of the registry in 2010, tendencies regarding HEN have been maintained, other than oral routeObjetivos: Describir los resultados del registro de nutrición enteral domiciliaria (NED) del grupo NADYASENPE de los años 2011 y 12. Material y métodos: Se recopilaron los datos introducidos en el registro desde el 1 de enero de 2011 al 31 de diciembre de 2012. Resultados: Hubo 3021 pacientes en el registro durante el periodo, procedentes de 29 hospitales, lo que da una prevalencia de 65,39 casos por millón de habitantes. 97.95% fueron adultos, 51,4% varones. La edad media fue 67,64 ± 19,1 años y la mediana 72 años para los adultos y 7 meses para los niños. La duración media de la NED fue 351 días y para el 97,5% fue el primer episodio con NED. La mayoría de pacientes tenían NED por una enfermedad neurológica (57,8%). La vía de acceso fue sonda nasogástrica para el 43,5% y gastrostomía para el 33,5%. La mayoría de pacientes tuvieron un nivel de actividad física limitado y, respecto a la autonomía, 54,8% necesitaba ayuda total. La fórmula de nutrición se suministró desde las oficinas de farmacia para el 73,8% y los fungibles, cuando fueron necesarios, desde los hospitales para el 53,8%. La NED se suspendió en 1.031 pacientes (34,1%) durante el periodo de estudio, 56,6% debido a fallecimiento y 22,2% debido a recuperación de la vía oral. Conclusiones: Los datos del registro NADYA-SENPE deben ser interpretados con precaución ya que se trata de un registro voluntario. A pesar del cambio de metodología del registro en 2010, las tendencias en NED se han mantenido, salvo la importancia cuantitativa de la vía ora

Effect of viral storm in patients admitted to intensive care units with severe COVID-19 in Spain: a multicentre, prospective, cohort study

Background: The contribution of the virus to the pathogenesis of severe COVID-19 is still unclear. We aimed to evaluate associations between viral RNA load in plasma and host response, complications, and deaths in critically ill patients with COVID-19. Methods: We did a prospective cohort study across 23 hospitals in Spain. We included patients aged 18 years or older with laboratory-confirmed SARS-CoV-2 infection who were admitted to an intensive care unit between March 16, 2020, and Feb 27, 2021. RNA of the SARS-CoV-2 nucleocapsid region 1 (N1) was quantified in plasma samples collected from patients in the first 48 h following admission, using digital PCR. Patients were grouped on the basis of N1 quantity: VIR-N1-Zero (2747 N1 copies per mL). The primary outcome was all-cause death within 90 days after admission. We evaluated odds ratios (ORs) for the primary outcome between groups using a logistic regression analysis. Findings: 1068 patients met the inclusion criteria, of whom 117 had insufficient plasma samples and 115 had key information missing. 836 patients were included in the analysis, of whom 403 (48%) were in the VIR-N1-Low group, 283 (34%) were in the VIR-N1-Storm group, and 150 (18%) were in the VIR-N1-Zero group. Overall, patients in the VIR-N1-Storm group had the most severe disease: 266 (94%) of 283 patients received invasive mechanical ventilation (IMV), 116 (41%) developed acute kidney injury, 180 (65%) had secondary infections, and 148 (52%) died within 90 days. Patients in the VIR-N1-Zero group had the least severe disease: 81 (54%) of 150 received IMV, 34 (23%) developed acute kidney injury, 47 (32%) had secondary infections, and 26 (17%) died within 90 days (OR for death 0·30, 95% CI 0·16-0·55; p<0·0001, compared with the VIR-N1-Storm group). 106 (26%) of 403 patients in the VIR-N1-Low group died within 90 days (OR for death 0·39, 95% CI 0·26-0·57; p<0·0001, compared with the VIR-N1-Storm group). Interpretation: The presence of a so-called viral storm is associated with increased all-cause death in patients admitted to the intensive care unit with severe COVID-19. Preventing this viral storm could help to reduce poor outcomes. Viral storm could be an enrichment marker for treatment with antivirals or purification devices to remove viral components from the blood.This work was supported by grants from the Instituto de Salud Carlos III (FONDO-COVID19, COV20/00110, CIBERES, 06/06/0028; AT), Proyectos de Investigación en Salud (PI19/00590; JFB-M), Miguel Servet (CP20/00041; DdG-C), Sara Borrell (CD018/0123; APT), and Predoctorales de Formación en Investigación en Salud (FI20/00278; AdF). We also received funds from Programa de Donaciones Estar Preparados, UNESPA (Madrid, Spain), and from the Canadian Institutes of Health Research (CIHR OV2–170357; DJK and JFB-M), Research Nova Scotia, Li-Ka Shing Foundation (DJK), and finally by a Research Grant 2020 from ESCMID (APT). COV20/00110, PI19/00590, CP20/00041, CD018/0123, FI20/00278 were co-funded by European Regional Development Fund and European Social Fund (A way to make Europe, and Investing in your future). We thank the IRB-Lleida Biobank 119 (B.0000682) and Plataforma Biobancos PT17/0015/0027 in Lleida, the Hospital Clinic Barcelona (HCB)-IDIBAPS biobank in Barcelona, and the National DNA Bank and the Hospital Universitario de Salamanca biobank (both in Salamanca) for their logistical support with sample processing and storage. We are indebted to the Fundació Glòria Soler for its contribution and support to the COVIDBANK of HCBIDIBAPS Biobank. This work was not supported by any pharmaceutical company or other agency.S